Adaptive Test-Time Inference for Text2Cypher with Trace Budgeting and Selective Refinement
Text2Cypher 的自适应测试时推理：跟踪预算与选择性精炼
🧭 LLM 测试时推理优化 · Text2Cypher
Neo4j, London, UK
提出自适应 trace 预算与选择性执行引导精炼，在 Text2Cypher 上降低 30.7% 生成预算、21-25% 推理时间且质量持平
📌 工作参考价值（4 点）
- 在电商/搜索的文本生成场景（query 改写、商品标题、广告文案、推荐理由）中，可先做难度/置信度评估，动态分配采样与精炼预算：简单请求少生成少校验，复杂请求多候选+执行级验证，降低 LLM 成本与延迟。
- 执行引导精炼可迁移到业务规则校验：对生成结果做 schema、库存、价格、广告法违禁词等可执行检查，仅在失败或低置信时触发强模型 refinement，而不是全量二次生成。
- 跨模型族精炼结果表明，可保留现有轻量/低延迟主模型，用另一个强模型作为统一精炼服务做兜底，兼顾效果与成本，便于在推荐链路中逐步引入 LLM 精炼。
- 动态 budget 分配思路类似推荐系统的粗排/精排分级算力：可按 query 复杂度或用户价值分层，对高价值/复杂流量给予更多推理资源。